Nguyễn Mạnh Cầm thuộc dòng họ Nguyễn Khắc, sinh ngày 15 tháng 9 năm 1929 trong một gia đình công nhân ở làng Yên Dũng Thượng nay thuộc phường Hưng Dũng, thành phố Vinh, tỉnh Nghệ An.

Năm 1945, ông tham gia công tác cách mạng tại quê nhà và năm sau gia nhập Đảng Cộng sản Đông Dương.

Ông được cử sang Trung Quốc học tiếng Nga rồi bước vào ngành ngoại giao năm 1952, làm phiên dịch viên tiếng Nga tại Đại sứ quán Việt Nam dưới thời Đại sứ Việt Nam đầu tiên tại Liên Xô Nguyễn Lương Bằng. Sau này ông tiếp tục làm việc ở Vụ Liên Xô và Đông Âu thuộc Văn phòng Bộ Ngoại giao, Vụ theo dõi hội đàm Paris và thực hiện Hiệp định Paris về Việt Nam. Ông đã làm Đại sứ tại Hungary (1973-1976), kiêm nhiệm Đại sứ tại Áo và Iran, sau đó là Đại sứ tại Cộng hòa Liên bang Đức kiêm nhiệm tại Áo, Iran và Thụy Sĩ.

Năm 1981, ông được cử làm Thứ trưởng Bộ Ngoại thương, rồi đến năm 1987 quay lại Bộ Ngoại giao trên cương vị Đại sứ tại Liên Xô.

Tại kỳ họp thứ 9 Quốc hội khóa VIII (tháng 8 năm 1991), ông được cử giữ chức Bộ trưởng Bộ Ngoại giao. Sau đó là Phó Thủ tướng (cho đến năm 2002) kiêm Bộ trưởng Bộ Ngoại giao (cho đến đầu năm 2000). Đây là thời kỳ Việt Nam chính thức bình thường hóa quan hệ với Hoa Kỳ, ký Hiệp định khung về quan hệ với EU và gia nhập khối ASEAN (cả ba sự kiện đều diễn ra vào năm 1995).

Ông là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam các khóa VI, VII, VIII (1986-2001), Ủy viên Bộ Chính trị Trung ương Đảng (từ tháng 1 năm 1994 đến năm 2001).[1]

Tháng 12 năm 2005, ông được bầu làm Chủ tịch Hội khuyến học Việt Nam thay ông Vũ Oanh.Ngoài ra, từ sau Hội nghị cấp cao ASEAN năm 2005, ông là thành viên nhóm những nhân vật có uy tín của ASEAN (gồm 10 người, là các cựu nguyên thủ hoặc cựu Bộ trưởng Ngoại giao) có nhiệm vụ phác thảo xây dựng Hiến chương ASEAN.

Con trai ông là Nguyễn Cẩm Tú - từng là Thứ trưởng Bộ Công Thương và về hưu năm 2016.